Violet Barungi sinh ra ở quận Mbarara, nay là Quận Ibanda, Tây Uganda. Bà được đào tạo tại trường trung học cấp 2 Bweranyangi Girls, trường trung học Gayaza và trường đại học Makerere ở Kampala, nơi bà tốt nghiệp với bằng danh dự về lịch sử. Bà đã kết hôn và có sáu người con.[4]